Là con trưởng của Konstans II, Konstantinos IV được cha mình phong làm đồng hoàng đế vào năm 654.[2] Ông phụ trách việc quản lý các công việc ở Constantinopolis khi Konstans II vắng mặt kéo dài ở Ý[3] và trở thành Hoàng đế lớn khi Konstans bị ám sát vào năm 668.[4] Mẹ ông là Fausta, con gái của nhà quý tộc Valentinus.[5] Nhiệm vụ đầu tiên của vị Hoàng đế mới là đàn áp cuộc nổi dậy của quân đội ở Sicilia dưới trướng Mezezios, kẻ tiếm ngôi đã gây ra cái chết của phụ hoàng.[6] Trong vòng bảy tháng kể từ khi lên ngôi, Konstantinos IV đã xử lý cuộc nổi dậy với sự ủng hộ của Giáo hoàng Vitalian.[7] Tuy nhiên, thành công này đã bị lu mờ bởi những rắc rối ở phía đông.

Ngay từ đầu năm 668, Caliph Muawiyah I nhận được lời mời của Saborios, viên tướng chỉ huy quân đội ở Armenia sang giúp lật đổ Hoàng đế ở Constantinopolis.[8] Muawiyah chấp thuận rồi gửi một đội quân dưới quyền hoàng nam Yazid chống lại Đế quốc Đông La Mã. Yazid tiến quân tới Chalcedon và đánh chiếm Amorion, một trung tâm quan trọng của Đông La Mã lúc bấy giờ.[9] Khi thành phố mau chóng được hồi phục, người Ả Rập lại tiếp tục tấn công Carthage và Sicilia vào năm 669.[10] Năm 670, người Ả Rập chiếm được Cyzicus và thiết lập một căn cứ tại đây để phát động nhiều cuộc tấn công hơn nữa vào trung tâm của Đế chế.[4] Hạm đội của họ đã chiếm được Smyrna và các thành phố ven biển khác vào năm 672.[11] Cuối cùng vào năm đó, người Ả Rập đã gửi một hạm đội lớn tấn công Constantinopolis bằng đường biển.[11] Trong lúc Konstantinos đang bị phân tâm bởi chuyện này thì người Slav phải chịu thảm bại khi tấn công Thessalonika.[4]